Skill∞：智能体技能优化的递归自改进框架
🧭 Agent 递归自改进 · 技能优化 ★ 深度解读
National University of Singapore · City University of Hong Kong
将技能优化流程编码为可自我优化的 meta-skill，实现跨任务复用的递归自改进
📌 工作参考价值（4 点）
- 在电商/搜索推荐的 Agent 平台中，把策略优化器（如 query 改写、召回策略、排序规则的生成与迭代流程）封装成可被自身优化的 skill，让优化器随业务反馈递归进化，替代人工设计 pipeline。
- 独立 reviewer 机制值得借鉴：对候选策略用隔离上下文评审，拒绝未激活、不可用或仅靠噪声涨分的候选，可以降低离在线指标误判和 reward hacking 风险。
- 采用原生 skill discovery（仅凭 name/description 让 Agent 自主加载）而非 prompt 注入，更贴合部署环境；把 description 纳入优化范围可提高激活率，这对推荐 Agent 的 skill 路由设计很实际。
- 解耦 meta-skill 与任务 skill，先在多个优化任务上提炼通用优化器，再复用到不同类目/国家/活动场景，摊薄自改进成本，适合多业务线共用一个优化框架。
通过跨 harness 适配的检索增强技能优化
🧭 Agent 技能优化 · 跨 harness 检索适配 ★ 深度解读
Korea University · KAIST · Meta AI
检索外部技能语料并用 Cross-Harness Adaptation 适配到目标任务与执行环境，同时强化技能初始化和失败驱动更新
📌 工作参考价值（5 点）
- 构建内部“技能/策略语料库”（如大促玩法 SOP、不同平台投放经验、query 改写案例），按 heading 切成段落级索引；检索时用 BM25 返回 top-K=5，避免整篇文档带来的无关信息，K 再增大会引入噪声。
- 借鉴 Cross-Harness Adaptation：把外部知识/代码片段转成目标系统的对象、命令、单位，做三件事——删 source-specific 名词、只保留当前 requirement 相关、工具参数行为必须被目标 harness 描述确认；这在多平台/多渠道（Web vs App vs 小程序、不同广告 API）迁移 SOP 时尤其实用。
- 用 RASI 做零 rollout 冷启动：新任务或新 agent 先由 LLM 从 task/harness 描述生成 requirement-query 对，检索并适配成 lessons 后直接合成 skill，避免昂贵试错；实验显示即使只开放 1% 语料也有明显收益。
- 更新阶段不要只依赖 rollout 文本梯度：从失败轨迹反推“缺失知识”并生成检索 query，用外部知识补充参数知识，候选 skill 必须过验证集才接受；在成本上可做到与 TextGrad/WikiSkill 同等 rollout 数，甚至 API 成本更低。
- 生产落地注意 benchmark 泄漏：按仓库级别把已知任务/数据集相关技能加入 blocklist，防止检索到作弊或过拟合片段。
写、执行、精炼：通过执行反馈强化学习训练技能优化器
🧭 Agent 技能优化训练 · 执行反馈强化学习 ★ 深度解读
Harbin Institute of Technology, Shenzhen · The Chinese University of Hong Kong · MoE Key Laboratory of High Confidence Software Technologies · Harbin Institute of Technology, Harbin · Huawei Technologies Co., Ltd.
训练独立 Skill Optimizer，用执行反馈做 phase-wise GRPO，让 4B 模型优化 agent 技能超过通用大模型
📌 工作参考价值（4 点）
- 在电商导购、客服、广告投放等 Agent 系统中，把「策略 prompt / skill」当作可优化参数：冻结执行模型，单独训练一个小模型改写 skill，能获得比直接换更大 LLM 更稳定的收益；执行器冻结可以让优化信号只归因到 skill 本身。
- 如果业务有程序化校验指标（订单完成、API 参数合法、库存/价格约束、终态匹配），优先用 verifier 做 reward，不要用 LLM 打分；配合组内相对优势 GRPO，能避免任务难度差异淹没候选策略差异。
- 构建 replay buffer 时，只保留同一 skill 下「一次成功 + 一次失败」的 paired trajectories 作为下一轮优化样本；这种 mixed-outcome 状态能定位 skill 未约束的分支，比单条失败轨迹更有诊断价值。
- 生产环境建议迭代 1-2 轮即停止：实验显示 2 轮修订后收益饱和，第 3 轮可能倒退；skill 文档用 name/description/workflow/notes 四段式，agent 指令更稳定可维护。
SKILLER：面向小语言模型可复用技能提取的语言级强化学习框架
🧭 Agent 技能生成 · 语言级强化学习 ★ 深度解读
Shanghai Jiao Tong University · Shanghai Artificial Intelligence Laboratory · Harbin Institute of Technology, Shenzhen · Tsinghua Shenzhen International Graduate School, Tsinghua University
用自然语言强化学习为小型 LVLM 自动生成定制化 agent 技能，不更新权重，成本降低 71-167 倍
📌 工作参考价值（4 点）
- 离线用强模型（GPT-5.4）作为 actor/critic，将目标小模型（Qwen3.5-9B/4B）的 agent loop 当作环境，通过可验证 reward 迭代优化 prompt/skill，线上只部署小模型，大幅降低推理成本。在电商客服、推荐解释生成等场景可直接复用此离线优化范式。
- 将复杂多步推理流程固化到确定性脚本/工具中，skill 只负责调用和异常处理，避免小模型上下文过长、步骤遗漏或幻觉。对应推荐系统可将商品特征处理、规则过滤放在外部服务，LLM 只做轻量决策。
- 语言级 policy iteration 的 critic 定位最早因果错误并生成有界编辑（INSERT/REPLACE/CREATE/DELETE），actor 实施局部更新并保留有效内容，防止灾难性遗忘。可用于 prompt 迭代优化：从失败 case 诊断原因，局部修改 prompt 而非全量重写。
- 成本-性能权衡：SKILLER 生成技能成本约 $8.95，低于 SkillX $14.55 且性能更高；相比闭源部署成本低 71-167 倍。提示在预算有限时，针对 executor 定制 prompt 比盲目堆大模型更高效。
SkillOpt-Lite：一行代码实现更优更快的 Agent 技能自我进化
🧭 代理技能自进化 · 零阶优化
LMMs-Lab · NTU MMLab · Microsoft
用零阶优化与三项原则将 Agent 技能优化精简为一行代码，提速收敛并让纳米模型超越大模型
📌 工作参考价值（4 点）
- 借鉴 SkillOpt-Lite 的最小管线思路，可把推荐系统的策略文档/提示工程当做可编辑代码，通过文件轨迹探索+共识挖掘自动化迭代，减少人工调参。
- 独立验证门控（independent validation gating）能作为推荐系统在线实验的安全网，自动拦截效果退化。
- 零阶优化对不可微的 LLM 推荐链路适用，可用于优化召回 query 生成或排序 prompt，无需访问模型内部梯度。
- 一行 vibe 命令集成进 VSCode 的哲学，可启发构建面向业务分析师或运营的“一键调优推荐策略”工具，降低门槛。
SkillOpt：智能体技能的自进化优化执行策略
🧭 Agent 技能优化 · 文本空间训练 ★ 深度解读
Microsoft · Shanghai Jiao Tong University · Tongji University · Fudan University
第一个系统性的可控文本空间优化器，将有界编辑、拒绝缓冲等引入技能训练，在52项测试中全部最佳。
📌 工作参考价值（4 点）
- 将技能优化视为带约束的文本训练过程：借鉴学习率（编辑预算）、验证集门控、负反馈缓冲区等概念，可在电商 Agent 的技能迭代中引入类似控制，避免无监督改写导致的退化。
- 离线优化、零部署成本：SkillOpt 只在高能力优化器上训练一次，导出紧凑的 best_skill.md（<2k tokens），部署时无额外推理开销。电商场景中可用这种模式批量生产领域技能，大幅降低在线 Agent 的推理成本。
- 技能跨模型和执行环境迁移：实验证明优化技能可跨模型规模、跨工具链（Codex ↔ Claude Code）甚至跨任务转移。这对构建可复用的电商领域技能库很有启发：一个技能可用于多个相关任务或不同能力模型。
- 拒绝编辑缓冲提供负反馈学习：类似训练中保留失败样本以指导后续更新，可借鉴到推荐系统或 Agent 的在线学习环节，利用用户反馈的负面信号修正策略。
MOCHA：面向Agent技能优化的多目标切比雪夫退火方法
🧭 Agent技能多目标帕累托前沿探索 ★ 深度解读
Adobe Research
通过切比雪夫标量化与退火探索，打破单目标优化僵局，实现Agent技能帕累托前沿全覆盖。
📌 工作参考价值（4 点）
- 在电商Agent场景中，商品推荐、客服等技能的描述与指令体常受平台字数硬限制，可借鉴MOCHA的多目标优化生成不同长度-性能折中的技能版本，供运营按场景择优上线，避免单目标优化器因无法突破约束而停滞。
- 探索–利用退火策略（HVC门控阈值指数衰减）可迁移到推荐系统的prompt优化：前期用超体积贡献（HVC）广搜多样性候选，后期切换至切比雪夫接受精确提升核心指标，能有效避免陷入局部最优。
- 切比雪夫标量化能探索非凸帕累托前沿，当业务指标（如点击率、多样性、合规分）存在非凸冲突时，它比线性加权更能发现传统方法遗漏的折中解，适合多目标A/B测试中的候选生成。
- 结构化突变机制（如带合规反馈的字段感知改写）可应用于生成式推荐的item描述生成，在保证字数、排版合规的前提下逐步丰富推理结构，兼顾描述吸引力与展示约束。